Проверка гипотез по увеличению выручки в интернет-магазине —оценить результаты A/B теста

Задачи проекта: Используя данные интернет-магазина приоритезировать гипотезы, произвести оценку результатов A/B-тестирования различными методами

Ключевые слова: A/B-тест, статистический тест, фреймворк, RICE, ICE

Навыки и инструменты: A/B-тестирование, Matplotlib, Pandas, Python, SciPy, проверка статистических гипотез

Описание проекта: Проведена приоритизация гипотез по фреймворкам ICE и RICE. Затем провел анализ результатов A/B-теста, построил графики кумулятивной выручки, среднего чека, конверсии по группам, а затем посчитал статистическую значимость различий конверсий и средних чеков по сырым и очищенным данным. На основании анализа мной было принято решение о нецелесообразности дальнейшего проведения теста.

Цели исследования

Подготовить список гипотез для увеличения выручки крупного интернет-магазина. Приоритизировать гипотезы, запустить A/B-тест и проанализировать результаты.

Исследование данных

Импорт библиотек

Преобразование типов, исследование пропущенных значений и дубликатов

В details много пропущенных данных, скорее всего это необязательное поле с дополнительными данными

Группы в тесте не пересекаются

Оценка корректности проведения теста

Проверим соответствие данных требованиям технического задания

Техническое задание

В данных присутствует как минимум разметка двух тестов, но есть необходимоый нам 'recommender_system_test'

Есть 3824 участника контрольной группы и 2877 участников новой платежной воронки

Дата появления первого нового пользователя эксперимента - 7 декабря 2020 года - совпадает с ТЗ

Дата окончания набора новых пользователей - 21 декабря 2020 года - совпадает с ТЗ

В данных почти все участники из EU (94%), по ТЗ должно было быть 15%. Не соответствует ТЗ

Общее число участников 6701, превышает ожидаемые по ТЗ 6000

Никакие маркетинговые события не проходили в период действия эксперимента

На небольшом количестве маркетинговых событий можем проверить "глазами", что период действия ни одного из маркетинговых событий не пересекся с периодом от начала до окончания действия эксперимента.

Однако, если учесть период в 14 дней, который мы смотрим от даты регистрации пользователя, то пользователи, включенные в последние дни эксперимента, попадают на два маркетинговых события - Christmas&New Year Promo, CIS New Year Gift Lottery А значит их активность может отличаться от стандартной

Группы в рамках проводимого теста не пересекаются

Группа B составляет 43% от всей выборки, группа A - 57%. Группы не идентичны по размеру

Есть 1602 пользователя, которые участвуют сразу в двух тестах. Чтобы оценить влияние только одного теста, нужно исключить их из исследования

Осталось 5099 участников теста

57% из группы А и 43% из группы B, процентное соотношение сохранилось

Исследовательский анализ данных

Распределение количества событий на пользователя в группах А и B выглядит по-разному.

Для группы А наблюдается небольшое количество событий (200+) от начала эксперимента до 13 декабря, затем резкий рост, пик на 21 декабря (1600) и спад до 29 декабря

Количество событий для группы B на всем протяжении эксперимента не превышает 350, с пиком 21 декабря. До этого колеблется от 100 до 300 событий, падает до нуля к 30 декабря

Воронка группы А: от логина до покупки

100% - 65.1% - 30.5% - 30.1%

Воронка группы B: от логина до покупки

100% - 53% - 27% - 25.8%

Особенности данных: для группы А, состоящей из 2903 пользователей, значительно больше событий, чем для группы B, состоящей из 2196 пользователей.

Уже первый этап воронки показывает, что логинов группы А значительно больше (6525), чем для группы B (1976)

Пики количества событий в группах приходятся на одни и те же даты, но в разы отличаются по количеству.

Распределение количества событий по пользователям в группах А и B разное. Сравнивая максимумы по количеству пользователей - около 500 пользователей группы А совершает порядка 10 событий. И только 300 пользователей группы B совершает 5 событий.

Оценка результатов А/B тестирования

Из 2903 зарегистрированных пользователей группы А покупку совершили 1973 пользователя

Из 2196 зарегистрированных пользователей группы B покупку совершили 510 пользователей

Проверим гипотезу о разнице в конверсии регистраций в заказ для этих двух групп

Из 6525 логинов пользователей группы А последовало 4250 просмотров карточки товаров

Из 1976 логинов пользователей группы B последовало 1048 просмотров карточки товаров

Проверим гипотезу о разнице в конверсии логинов в просмотр карточек товаров для этих двух групп

Из 6525 логинов пользователей группы А последовало 1989 просмотров корзины

Из 1976 логинов пользователей группы B последовало 533 просмотров корзины

По воронке видно, а также подтверждено статистическими тестами, что улучшения метрики не менее, чем на 10% не произошло

Между конверсиями групп А и B есть значимая разница, но в группе B результат хуже

Выводы

Мы исследовали результаты проведения А/B тестирования для эксперимента по ТЗ:

Исследование состояло из нескольких этапов:

  1. Изучили данные, не нашли в них дубликатов, объяснили возможные причины пропущенных значений. Пропущенные значения не были критичны для исследования.
  2. Нашли расхождения с техническим заданием:
  1. Исследовательский анализ данных показал
  1. Оценка результатов А/B тестирования Проверка уровня статистической значимости для двух групп А и B и событий регистрации пользователей и совершения ими покупки показала, что между долями в группах А и B есть значимая разница.

Общий вывод по результатам A/B тестирования